自定义机器学习替代重复工作，Nuke13.0的新技术
点击上方蓝字CG世界关注我们
这个月的18号，The Foundry公司发布了新的Nuke 13.0，这是一款强大的影视后期特效合成软件，它的新功能包括机器学习工具集，新的Hydra 3D视口渲染器，新的增强型协作工作流程，并且还扩展了监视器输出功能，以及对Python 3的支持。
其中机器学习工具集则是Nuke 13.0中最重要的更新，它能够使艺术家们利用机器学习来创建和应用高质量的特定序列效果。功能包括Upres，消除运动模糊，消除跟踪标记，beauty工作，垃圾遮罩等。
先来简单地了解一下机器学习工具集的关键组件。
Copycat节点：
艺术家可以在序列中的少量帧上创建效果，并训练网络使用CopyCat节点复制这个效果。这种以艺术家为中心的特定于镜头的方法不仅可以创建高质量的图像，而且在Nuke中无需定制培训环境、复杂的网络权限或将数据发送到云端就可以相对快速地定制模型。
Inference节点：
这个节点是运行由CopyCat产生的神经网络的节点，可以将模型应用于图像序列或其他序列。
Upscale and Deblur 图像放大和去模糊节点：
这些节点使用CopyCat和开源MLServer背后的ML（机器学习）方法开发了两种用于常见合成任务的新工具。这些节点的ML网络除了主要用于调整素材大小和消除运动模糊外，还可以使用CopyCat对其进行优化，以创建更高质量的镜头或特定于工作室的版本。
可以通过下面这个视频看看这些组件是如何工作的：
从视频里可以看出，用户可以通过这些工具打造属于自己的神经网络，这也是最有趣的地方，The Foundry公司将其称为AIR（AI Research）工具，这一个新的机器学习框架，框架使VFX艺术家能够通过自己的神经网络来实现自动执行重复任务的操作，例如旋转和标记删除。
与许多高级工具不同，在Nuke和价格较低的Nuke Indie、NukeX以及Nuke Studio上都可使用这些工具。下面，将为大家对机器学习工作流程以及该工作集将来会如何发展进行更具体的介绍。
机器学习技术一直是The Foundary公司的研究重点，在2019年，公司在GitHub存储库上发布了ML-Server的源代码，ML-Server是Nuke的基于服务器的实验性机器学习系统。但是，新的AIR工具集是首次出现在核心软件中机器学习工具中的，并且它不需要任何的外部服务器。
与最近添加到AutodeskFlame等基于AI的功能的软件不同，它不仅仅只是一组使用机器学习技术进行训练的现成工具。相反，这个框架使用户可以打造一个属于自己的神经网络，以此来执行特定于特定图像序列的VFX任务，然后与其他艺术家进行共享。
那么要如何训练自己的神经网络呢？这个过程从CopyCat节点开始，这个节点用于处理源图像以训练网络。首先用户需要输入原始帧和“真实”图像，以供CopyCat生成神经网络。然后，训练后的网络可以由推理节点进行处理，这个推理节点会将相同的操作自动应用于序列中的其余帧上。
包括自动执行重复任务，例如抠像，垃圾遮罩，标记去除和beauty工作，但该系统可与“任何图像到图像任务”一起使用。
从上图可以看到，CopyCat用于训练神经网络的时候，根据六个源帧自动将演员与图像序列的背景隔离，在六个源帧中手动完成了抠像工作。
此外，机器学习框架是通过GPU加速的，并且需要Nvidia GPU，在第一次运行的时候，它需要编译CUDA代码，运行一次大约需要20-30分钟。
同时，任何具有计算能力3.0及更高版本的Nvidia卡都可以使用，并且不需要连接到云端，在用户的本地计算机上就可以直接完成。
这个系统也是非常具有灵活性的，艺术家可以将自己通过CopyCat生成的，经过训练的神经网络的.cat文件与其他艺人进行共享，然后其他人就可以将它们用作自己的迭代训练的基础了。
值得一提的是，这个文件所占的内存也是非常小的，.cat文件基本都是10MB左右的大小。
下面是一些需要注意的地方。
Nuke的每个版本中都提供了新的Inference节点，这意味着用户不需要价格更高的许可证就可以使用已经由其他人训练过的神经网络。但是对于CopyCat来说是有一些限制的：CopyCat节点在基础版中是没有的，用户需要自己训练网络。
此外，在Nuke Indie中生成的神经网络是以它自己的文件格式进行加密的，因此无法在完整版的Nuke中使用，但是，是可以在Nuke Indie中使用在NukeX或Nuke Studio中生成的.cat文件的。
最后，Nuke 13.0版本还附带了两个现成的工具，一个是模糊消除，一个是图像放大，也就是我们在前面介绍的Upscale and Deblur，这些工具都已经使用该系统进行了培训。
Deblur可以消除素材中的运动模糊，而Upscale则为现有的TVIScale节点提供了GPU加速的替代方案，以提高素材的分辨率，甚至可以提高两倍，这两种工具都是机器学习中的潜在用例。
比较遗憾的是，Nuke 13.0中还未能实现对面部的自动替换，但这也是未来会发展的一个方向，可以期待一下。
- 全文完 -